Trong khi đó, mối quan hệ giữa Thổ Dục Hồn và Thổ Phồn tương đối hòa bình trong nhiều năm, song đến năm 660, đại luận (thừa tướng) Thổ Phồn là Lộc Đông Tán (祿東贊) đã lệnh cho con trai là Khởi Chính (起政) phục hồi các cuộc tấn công chống lại Thổ Dục Hồn, lý do được cho là vì Thổ Dục Hồn quy phục triều Đường. Cả Thổ Phồn và Thổ Dục Hồn đều cử sứ thần sang Đường để cáo buộc đối phương và thỉnh cầu sự giúp đỡ của Đường. Cao Tông hoàng đế từ chối cả hai lời đề nghị. Tuy nhiên, Thổ Dục Hồn đã suy yếu trước các cuộc tấn công của Thổ Phồn, và vào năm 663, tình thế càng trở nên trầm trọng hơn khi đại thần Tố Hòa Quý (素和貴) của Thổ Dục Hồn do bị cáo buộc phạm tội nên đã chạy trốn sang Thổ Phồn và tiết lộ nhiều bí mật quốc gia. Quân Thổ Phồn sau đó đã tấn công và tiêu diệt quân Thổ Dục Hồn. Mộ Dung Nặc Hạt Bát và Hoằng Hóa công chúa đã từ bỏ lãnh thổ Thổ Dục Hồn và đưa thần dân đến Lương châu (涼州, nay gần tương ứng với Vũ Uy, Cam Túc) của Đường, thỉnh cầu được định cư trong lãnh thổ Đại Đường.

Cao Tông hoàng đế đã cử tướng Tô Định Phương (蘇定方) đưa quân về phía tây nhằm bảo vệ tàn dư của Thổ Dục Hồn, song không thực hiện cuộc tấn công nào chống lại Thổ Phồn, song ông cũng cử sứ thần đến trách mắng Lộc Đông Tán khi Lộc Đông Tán cử sứ thần đến để buộc tội Thổ Dục Hồn và thỉnh cầu quốc hôn với triều Đường. Năm 665, khi Thổ Phồn đưa ra một đề xuất hòa bình, thỉnh cầu hòa thân với Thổ Dục Hồn và xin được chăn thả gia súc tại khu vực Xích Thủy (赤水, có thể là đầu nguồn của Hoàng Hà), Cao Tông hoàng đế đã từ chối đề xuất. Khoảng năm 666, Cao Tông hoàng đế phong Mộ Dung Nặc Hạt Bát làm Thanh Hải quận vương—một tước hiệu cao cấp hơn tước hiệu Hà Nguyên quận vương—có lẽ để nhằm thể hiện cho Thổ Phồn rằng ông ta vẫn có ý khôi phục Thổ Dục Hồn. Năm 669, Cao Tông hoàng đế lệnh dân Thổ Dục Hồn định cư tại Kỳ Liên Sơn, song nhiều đại thần cho rằng điều này sẽ khiến họ gặp nguy hiểm trước các cuộc tấn công của Thổ Phồn và rằng trước tiên cần có một cuộc tấn công chống lại Thổ Phồn. Tể tướng Diêm Lập Bản (閻立本) phản đối và giải thích rằng phần lớn Đại Đường đã chịu cảnh mất mùa vào năm 668 và không đủ khả năng thực hiện một chiến dịch quân sự lớn, và do đó, người Thổ Dục Hồn đã không được định cư tại Kỳ Liên Sơn.

Năm 670, Thổ Phồn tiến hành các cuộc tấn công lớn nhằm vào các đơn vị đồn trú của Đường tại Tây Vực. Đáp lại, Cao Tông hoàng đế cử tướng Tiết Nhân Quý, với sự trợ giúp của các tướng A Sử Na Đạo Chân (阿史那道真) và Quách Đãi Phong (郭待封) đi thu hồi lại lãnh thổ Thổ Dục Hồn để cho những người dân Thổ Dục Hồn có thể quay trở lại lãnh thổ của họ. Tuy nhiên, các chiến dịch chịu ảnh hưởng từ bất đồng giữa Tiết Nhân Quý và Quách Đãi Phong và quân Đường cuối cùng đã phải chịu một thất bại lớn trước Luận Khâm Lăng (論欽陵)- con trai và người kế thừa của Lộc Đông Tán, chấm dứt hy vọng người Thổ Dục Hồn có thể trở về quê hương. Năm 672, Cao Tông hoàng đế đã cho định cư người Thổ Dục Hồn tại Thiện châu (鄯州, nay thuộc Hải Đông, Thanh Hải), song ngay cả Thiện châu cũng được xem là quá nguy hiểm trước các cuộc tấn công của Thổ Phồn, và người Thổ Dục Hồn lại sớm phải dời đến định cư tại Linh châu (靈州, gần tương ứng với Ngân Xuyên, Ninh Hạ ngày nay), song triều đình lập một châu riêng cho họ là An Lạc châu (安樂州). Mộ Dung Nặc Hạt Bát trở thành An Lạc châu thứ sử.

Mộ Dung Nặc Hạt Bát qua đời vào năm 688. Người con trai Mộ Dung Trung (慕容忠) kế thừa tước hiệu của ông, và các tước hiệu này được truyền qua ít nhất là bốn đời nữa trước khi dòng tộc này không có người kế tự, mặc dù trên thực tế đã không còn cơ hội nào để khôi phục Thổ Dục Hồn.